Pluspunkte von R

• Als Weg kreativ zu sein …
• Graphiken, Graphiken, Graphiken
• In Kombination mit anderen Programmen nutzbar
• Zur Verbindung von Datenstrukturen
• Zum Automatisieren
• Um die Intelligenz anderer Leute zu nutzen ;-)
• …

Warum R?

Modularer Aufbau

Gründe

• R ist frei verfügbar. Es kann umsonst runtergeladen werden.

• R ist eine Skriptsprache

• Gute Möglichkeiten für die Visualisierung (Link )

• R wird immer populärer

• Popularität von R

Übersicht - warum R

pic

Nachteile von R

1. Daten werden oft anderswo erfasst
2. Nicht jeder ist bereit mit R zu arbeiten
3. Nicht auf jedem Rechner ist R installiert
4. R ist manchmal zu langsam
5. Schwierigkeiten bei der Arbeit mit großen Datenmengen

Was folgt daraus

1. Schnittstelle zu SPSS/Stata/Excel zum Import von Daten
2. Schnittstelle zu Word
3. Möglichkeit HTML Präsentationen zu erzeugen
4. Nutzung von C++
5. Nutzung von Datenbanken

Die Nutzung von Schnittstellen beim Import/Export

• Interaktion mit SPSS, Stata

Import

Reproducible Research

Was wird bei Wikipedia unter Reproduibility verstanden?

Darstellung von Ergebnissen

• Mit der Schnittstelle zu Javascript lassen sich interaktive Graphiken erzeugen
• Diese kann man auf Websites, in Präsentationen oder in Dashboards verwenden

Warum die Schnittstelle zu C++?

• Wenn Schnelligkeit wichtig ist, bietet sich C++ an
• Dies ist kann bspw. der Fall sein, wenn sich Schleifen nicht vermeiden lassen
• Man wird bei der Programmierung durch RStudio unterstützt
• Es gibt eine Rcpp Galerie, wo man sich Anregungen holen kann

Die Nutzung von Datenbanken

• Wenn große Datenmengen anfallen, kann die zusätzliche Nutzung von Datenbanken sinnvoll sein
• In R bestehen Schnittstellen sowohl zu relationalen als auch nicht relationalen Datenbanken

Wie wird das Github Verzeichnis genutzt

• Die folgende Seite ist die Startseite für den Kurs:

https://github.com/Japhilko/RInterfaces

• Es lohnt sich immer wieder zu dieser Seite zurückzukehren, weil hier alle relevanten Dokumente verlinkt sind.

• Grundsätzlich bietet es sich an, den einzelnen Teilen der Veranstaltung mit dem File zu folgen, dass mit dem Begriff Browser verlinkt ist.

Informationen audrucken

• Zum Ausdrucken eignen sich die pdf-Dateien besser.

• Diese können mit dem Raw Button heruntergeladen werden.

Raw Button zum Download

Weitere Dateien herunterladen

• Begleitend zu den Folien wird meistens auch ein R-File angeboten.

• Hier können Sie entweder das gesamte R-File herunterladen und in R ausführen oder einzelne Befehle per Copy/Paste übernehmen.

• Vereinzelt sind auch Datensätze vorhanden.

• .csv Dateien können direkt von R eingelesen werden (wie das geht werde ich noch zeigen).

• Wenn die .csv Dateien heruntergeladen werden sollen auch den Raw Button verwenden.

• Alle anderen Dateien (bspw. .RData) auch mittels Raw Button herunterladen.

Organisatorisches

• Zusätzlich gibt es für jedes Kapitel eine Aufgabe, da man nur durch eigenes Trainieren auf der Lernkurve vorankommt.

• Die Quellen sind als Link meist in der Überschrift hinterlegt

• Die Links sind nur im HTML Dokument zu sehen aber auch in der pdf vorhanden

Links und Quellen

Wen Github näher interessiert:

• Hello World

• Understanding the GitHub

Dateiformate in R

• Von R werden quelloffene, nicht-proprietäre Formate bevorzugt
• Es können aber auch Formate von anderen Statistik Software Paketen eingelesen werden
• R-user speichern Objekte gerne in sog. Workspaces ab
• Auch hier jedoch gilt: (fast) alles andere ist möglich

Formate - base package

R unterstützt von Haus aus schon einige wichtige Formate:

• CSV (Comma Separated Values): read.csv()
• FWF (Fixed With Format): read.fwf()
• Tab-getrennte Werte: read.delim()

Datenimport leicht gemacht mit Rstudio

Import Button

CSV aus dem Web einladen

• Datensatz:

https://data.montgomerycountymd.gov/api/views/6rqk-pdub/rows.csv?accessType=DOWNLOAD

• Datenimport mit Rstudio

Der Arbeitsspeicher

So findet man heraus, in welchem Verzeichnis man sich gerade befindet

getwd()

So kann man das Arbeitsverzeichnis ändern:

Man erzeugt ein Objekt in dem man den Pfad abspeichert:

main.path <- "C:/" # Beispiel für Windows
main.path <- "/users/Name/" # Beispiel für Mac
main.path <- "/home/user/" # Beispiel für Linux

Und ändert dann den Pfad mit setwd()

setwd(main.path)

Bei Windows ist es wichtig Slashs anstelle von Backslashs zu verwenden.

Alternative - Arbeitsspeicher

Import von Excel-Daten

• library(foreign) ist für den Import von fremden Datenformaten nötig
• Wenn Excel-Daten vorliegen - als .csv abspeichern
• Dann kann read.csv() genutzt werden um die Daten einzulesen.
• Bei Deutschen Daten kann es sein, dass man read.csv2() wegen der Komma-Separierung braucht.

library(foreign)
?read.csv
?read.csv2

CSV Dateien einlesen

Zunächst muss das Arbeitsverzeichnis gesetzt werden, in dem sich die Daten befinden:

Dat <- read.csv("schuldaten_export.csv")

Wenn es sich um Deutsche Daten handelt:

Dat <- read.csv2("schuldaten_export.csv")

Import csv

url <- "https://raw.githubusercontent.com/Japhilko/
GeoData/master/2015/data/whcSites.csv"

whcSites <- read.csv(url) 

SPSS Dateien einlesen

Dateien können auch direkt aus dem Internet geladen werden:

link<- "http://www.statistik.at/web_de/static/
mz_2013_sds_-_datensatz_080469.sav"

?read.spss
Dat <- read.spss(link,to.data.frame=T)

stata Dateien einlesen

MZ02 <- read.dta("MZ02.dta")

• Einführung in Import mit R (is.R)

Links

• Quick-R - Import Data

• Datenimport bei R-bloggers

• Importing Data into R

• Mapping von Arbeitslosendaten in den USA

• Das Paket readr

Eine wichtige Datenquelle

• Eurostat

library(xlsx)
dat <- read.xlsx("cult_emp_sex.xls",1)

Einige Schritte um R und Excel zu verbinden

• Die Excel-Verbindung

install.packages("XLConnect")

library("XLConnect")

Eine Excel Datei aus R erzeugen

fileXls <- "data/newFile.xlsx"
unlink(fileXls, recursive = FALSE, force = FALSE)
exc <- loadWorkbook(fileXls, create = TRUE)
createSheet(exc,'Input')
saveWorkbook(exc)

Das Arbeitsblatt mit Daten befüllen

input <- data.frame('inputType'=c('Day','Month'),'inputValue'=c(2,5))
writeWorksheet(exc, input, sheet = "input", startRow = 1, startCol = 2)
saveWorkbook(exc)

BERT - Eine weitere Verbindung zwischen R und Excel

• Schnellstart mit Excel

myFunction <- function(){
 aa <- rnorm(200)
 bb <- rnorm(200)
 res <- lm(aa~bb)$res
 return(res)
}

Das Paket readxl

• readxl

install.packages("readxl")

library(readxl)

Links

• BERT: a newcomer in the R Excel connection

CRAN Taskview zu reproducible research

Resourcen

• Reproducible Research with R and RStudio

• A crash course in reproducible research in R

Der Start

Mein erstes mit R erzeugtes Word Dokument

Erstes Beispiel

Rmarkdown - erste Schritte

Markdown ist eine sehr einfache Syntax, die es Benutzern erlaubt, aus einfachen Textdateien gut gelayoutete Dokumente zu erstellen.

**fettes Beispiel**
*kursives Beispiel*
~~durchgestrichen~~
- Aufzählungspunkt

fettes Beispiel

kursives Beispiel

durchgestrichen

• Aufzählungspunkt

Weitere Markdown Befehle

### Überschrift Ebene 3
#### Überschrift Ebene 4
[Meine Github Seite](https://github.com/Japhilko)

Überschrift Ebene 3

Überschrift Ebene 4

Meine Github Seite

Weitere Markdown Befehle

• So kann man Bilder einbinden:
• Man kann entweder einen Link angeben:

![BSP](http://e-scientifics.de/content/example_kinderbild.jpg)

• oder einen (Unterordner) in dem das Bild liegt:

![BSP 2](figure/example.png)

• in den eckigen Klammern steht die Bildunterschrift
• alle gängigen Formate (.png, .jpeg,.gif) können so eingebunden werden
• Man kann auch noch weitere Optionen spezifizieren (Größe, Breite etc.) - dazu später mehr

Chunks - Erste Schritte

• Es lassen sich so genannte Chunks einfügen
• In diesen Chunks wird ganz normaler R-code geschrieben

Button um Chunks einzufügen

• Die default Version eines Chunks ist R
• Man hat aber auch die Möglichkeit andere Programmiersprachen einzubinden

Inline Code

n=100

Ein inline Codeblock: 100

Chunk Optionen

• Man kann den Chunks Optionen mitgeben:

• Bei eval kann ein logischer Wert angegeben werden oder eine/mehrere Nummer(n)

Optionen

Optionen für Word Output

Code Hervorhebung

• pygments Hervorhebung

• tango

Das Paket knitr

install.packages("knitr")

library("knitr")

• Das Paket knitr enthält zahlreiche wichtige Funktionen
• Beispiel: Befehl kable um Tabellen zu erzeugen

Eine Tabelle mit kable erzeugen

a <- runif(10)
b <- rnorm(10)
ab <- cbind(a,b)
kable(ab)

Vorlagen verwenden

• Formatvorlagen können verändert werden

1. Ein Word Dokument mit Rmarkdown erstellen
2. Das Dokument in Word öffnen und Format verändern
3. Vorlage als Referenz angeben

Resourcen

• Interview - Ein Word Dokument mit wenig Aufwand schreiben

• pander: Ein R Pandoc Wrapper

• Ein Schummelzettel

• Einführung in Markdown

• Warum TeX besser als Word ist

beamer Präsentationen

Beamer Optionen

Beamer Themen

Chunks einfügen

• Auch hier lassen sich natürlich Chunks einfügen
• Wenn cache=T angegeben ist, wird das Ergebnis des Chunks abgespeichert
• Es ist sinnvoll die Chunks zu benennen, dann findet man auch das Ergebnis einfacher

Ergebnis - Cache

Wie man das im Header des Dokuments angibt

---
title: "Intro - Erste Schritte"
author: "Jan-Philipp Kolb"
date: "10 April 2017"
output:
  beamer_presentation: 
    colortheme: beaver
    theme: CambridgeUS
---

Inhaltsverzeichnis I

Inhaltsverzeichnis II

output: 
  beamer_presentation: 
    toc: yes

Optionen für die Graphikeinbindung

• fig_caption: false, wenn man keine Bildunterschriften haben möchte

Das Dokument erstellen

Sweave Präsentation

• Ganz normaler LaTeX Code wird verwendet

Chunks bei Sweave

• Auch hier kann R-code verwendet werden

Chunk Optionen

• Auch bei Sweave Chunks können Optionen mitgegeben werden

Inline Code

• Manchmal braucht man das Ergebnis direkt auf der Folie

\Sexpr{}

Inline Code - das Ergebnis

Übersicht - PDF Paper

• Mit R ist es möglich Berichte oder Paper zu erzeugen
• Dies eignet sich besonders gut, wenn man viel Code hat oder einen Bericht sehr oft erzeugen muss
• Literatur lässt sich am Besten mit einem bibtex file einbauen

Jabref

• Literaturverwaltungssystem

Referenz mit R bekommen

• Mit dem Befehl citation() bekommt man sehr schnell die Referenz

citation("RMySQL")

## 
## To cite package 'RMySQL' in publications use:
## 
##   Jeroen Ooms, David James, Saikat DebRoy, Hadley Wickham and
##   Jeffrey Horner (2017). RMySQL: Database Interface and 'MySQL'
##   Driver for R. R package version 0.10.11.
##   https://CRAN.R-project.org/package=RMySQL
## 
## A BibTeX entry for LaTeX users is
## 
##   @Manual{,
##     title = {RMySQL: Database Interface and 'MySQL' Driver for R},
##     author = {Jeroen Ooms and David James and Saikat DebRoy and Hadley Wickham and Jeffrey Horner},
##     year = {2017},
##     note = {R package version 0.10.11},
##     url = {https://CRAN.R-project.org/package=RMySQL},
##   }

Das bibtex file einbinden I

Das bibtex file einbinden II

---
title: "R Schnittstellen"
author: "Jan-Philipp Kolb"
date: "21 April 2017"
output: 
  pdf_document: default
bibliography: Rschnittstellen.bib
---

Das Ergebnis

Links

• Optionen für Beamer Präsentationen

• Wie R und LaTeX zusammen funktionieren

Der einfachste Weg - Rpres

Eine erste Präsentation

Erste Daten eintragen

• Für Vergessliche:

## [1] "Fri Apr 28 10:00:18 2017"

Eine Folie mit Formel

• Die Formel kann wie in LaTeX eingegeben werden

$$
\begin{equation}\label{eq2}
t_{i}=\sum\limits_{k=1}^{M_{i}}{y_{ik}}=M_{i}\bar{Y}_{i}. 
\end{equation}
$$

Zwei Spalten

Folie mit zwei Spalten
====================================
Erste Spalte
***
Zweite Spalte

Folienübergänge

transition: rotate

Weitere mögliche Folienübergänge

• none
• linear
• rotate
• fade
• zoom
• concave

Folientypen

Ein neues Kapitel einfügen
====================================
type: section

Anderer Folientyp
====================================
type: prompt

Noch ein anderer Folientyp
====================================
type: alert

Die Schriftart wechseln

• Die CSS Schrifttypen können verwendet werden

Meine Präsentation
========================================
author: Jan-Philipp Kolb
font-family: 'Impact'

Schrifttypen können auch importiert werden

Meine Präsentation
========================================
author: Jan-Philipp Kolb
font-import: http://fonts.googleapis.com/css?family=Risque
font-family: 'Risque'

Kleineren Text

Normale Schriftgröße

<small>This sentence will appear smaller.</small>

Die Präsentation anschauen

• Das Ergebnis ist hier zu sehen:

http://rpubs.com/Japhilko82/FirstRpubs

Eine ioslides Präsentation

ioslides - Der Start

Weitere Dinge tun

• Ein Bild einbinden

![picture of spaghetti](images/spaghetti.jpg)

Ein Logo hinzu

---
title: "ioslides Beispiel"
author: "Jan-Philipp Kolb"
date: "20 April 2017"
output: 
  ioslides_presentation:
    logo: figure/Rlogo.png
---

slidy Präsentationen

Was ist CSS?

• Stylesheet-Sprache für elektronische Dokumente
• eine der Kernsprachen des World Wide Webs.
• CSS wurde entworfen, um Darstellungsvorgaben weitgehend von den Inhalten zu trennen

Cascading Style Files

• Custom CSS

• CSS

• CSS pro tipps

knitr Engines

• knitr Language Engines

• slidify

Tabellen

• Quelle: R Studio, and Presentations, and Git! Oh my!

Das CSS ändern

Um den Präsentationstyp zu ändern kann man das CSS verändern

• Cascading Style Sheets (CSS)

• Bspw. lässt sich die Farbe (HTML) ändern.
• Man kann eine andere Schriftart wählen
• Es gibt zahlreiche Möglichkeiten der Schriftformatierung

• Daneben gibt es viele weitere Dinge, die sich mit dem CSS steuern lassen

Ein HTML Dokument erzeugen

Ein Template verwenden

Weitere Vorlagen nutzen

• Es gibt viele Formate - [manche müssen erst aktiviert werden](https://blog.rstudio.org/2016/03/21/r-markdown-custom-formats/:

Beispiele für Templates

Beispiel R-Pakete

Paket installieren

install.packages("flexdashboard", type = "source")

Ein Dashboard erstellen mit Rstudio

Gallerie

install.packages("highcharter", type = "source")

Links

• Verschiedene Markdown Dokumente zusammen fügen

Notebooks

• Warum R Notebook nutzen

Ein Rnotebook anlegen

Rnotebook - erste Schritte

• Es lassen sich so genannte Chunks einfügen
• In diesen Chunks wird ganz normaler R-code geschrieben

Python Code integrieren

• Ebenso lässt sich Python code implementieren

import sys
print(sys.version)

## 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:01:18) [MSC v.1900 32 bit (Intel)]

LaTeX Code integieren

• LaTeX code wird mit zwei Dollarzeichen gekennzeichnet

Notebook veröffentlichen I

Notebook veröffentlichen II

Jupyter Notebook

• Anaconda installieren
• folgenden Befehl in die Eingabeaufforderung eingeben
• Diese findet man bei windows wenn man cmd in Suche eingibt.

jupyter notebook

Start Jupyter Notebook

Beispiel Eingabe Code

Beaker Notebook

• Auch bei Beaker kann man R-code einbauen

Beaker starten

• Beaker installieren …
• … und mit beaker.command.bat starten

Links

• knitr Language Engines

• More engines

• Andere Programmiersprachen können eingebunden werden

• Video - Einführung in Rnotebook

• R Notebooks

• IPython vs knitr, or Python vs R

• Datacamp Tutorial - Jupyter Notebook

• Better interactive data science with Beaker and Rodeo

• Knit directly to jupyter notebooks from RStudio

• Python-Markdown

• Podcast

Aufgabe: Bearbeiten Sie ein Notebook weiter

Die Daten - Weltkulturerbe

url <- "https://raw.githubusercontent.com/Japhilko/
GeoData/master/2015/data/whcSites.csv"

whcSites <- read.csv(url) 

Notwendige Pakete

magrittr - für den Pipe Operator in R:

library("magrittr")

leaflet - um interaktive Karten mit der JavaScript Bibliothek ‘Leaflet’ zu erzeugen

library("leaflet")

Eine interaktive Karte erstellen

m <- leaflet() %>%
  addTiles() %>%  # Add default OpenStreetMap map tiles
  addMarkers(lng=whcSites$lon, 
             lat=whcSites$lat, 
             popup=whcSites$name_en)
m

Die Karte zeigen

pic

Farbe hinzu

whcSites$color <- "red"
whcSites$color[whcSites$category=="Cultural"] <- "blue"
whcSites$color[whcSites$category=="Mixed"] <- "orange"

Eine Karte mit Farbe erzeugen

m1 <- leaflet() %>%
  addTiles() %>%  
  addCircles(lng=whcSites$lon, 
             lat=whcSites$lat, 
             popup=whcSites$name_en,
             color=whcSites$color)

Die Karte zeigen

Weltkulturerbe

Die Karte abspeichern

gui

Layers ein- und ausblenden

leaflet() %>%
  addTiles() %>%
  addMarkers(data = coffee_shops, group = "Food & Drink") %>%
  addMarkers(data = restaurants, group = "Food & Drink") %>%
  addMarkers(data = restrooms, group = "Restrooms")

Karte mit Polygonen erzeugen

library(sp)
Sr1 = Polygon(cbind(c(2, 4, 4, 1, 2), c(2, 3, 5, 4, 2)))
Sr2 = Polygon(cbind(c(5, 4, 2, 5), c(2, 3, 2, 2)))
Sr3 = Polygon(cbind(c(4, 4, 5, 10, 4), c(5, 3, 2, 5, 5)))
Sr4 = Polygon(cbind(c(5, 6, 6, 5, 5), c(4, 4, 3, 3, 4)), hole = TRUE)
Srs1 = Polygons(list(Sr1), "s1")
Srs2 = Polygons(list(Sr2), "s2")
Srs3 = Polygons(list(Sr4, Sr3), "s3/4")
SpP = SpatialPolygons(list(Srs1, Srs2, Srs3), 1:3)
leaflet(height = "300px") %>% addPolygons(data = SpP)

Beispiel US Staaten

library(maps)
mapStates = map("state", fill = TRUE, plot = FALSE)
leaflet(data = mapStates) %>% addTiles() %>%
  addPolygons(fillColor = topo.colors(10, alpha = NULL), stroke = FALSE)

Die Basiskarte ändern

• Neben der Default Basiskarte kann man auch andere Hintergründe aktivieren

m <- leaflet() %>% setView(lng = -71.0589, lat = 42.3601, zoom = 12)
m %>% addTiles()

m %>% addProviderTiles("Stamen.Toner")

Basiskarte - CartoDB

m %>% addProviderTiles("CartoDB.Positron")

Esri.NatGeoWorldMap

m %>% addProviderTiles("Esri.NatGeoWorldMap")

OpenTopoMap

m %>% addProviderTiles("OpenTopoMap")

Thunderforest.OpenCycleMap

m %>% addProviderTiles("Thunderforest.OpenCycleMap")

WMS Tiles hinzufügen

leaflet() %>% addTiles() %>% setView(-93.65, 42.0285, zoom = 4) %>%
  addWMSTiles(
    "http://mesonet.agron.iastate.edu/cgi-bin/wms/nexrad/n0r.cgi",
    layers = "nexrad-n0r-900913",
    options = WMSTileOptions(format = "image/png", transparent = TRUE),
    attribution = "Weather data © 2012 IEM Nexrad"
  )

Mehrere Layer miteinander kombinieren

m %>% addProviderTiles("MtbMap") %>%
  addProviderTiles("Stamen.TonerLines",
    options = providerTileOptions(opacity = 0.35)) %>%
  addProviderTiles("Stamen.TonerLabels")

Andere Marker benutzen

greenLeafIcon <- makeIcon(
  iconUrl = "http://leafletjs.com/examples/custom-icons/leaf-green.png",
  iconWidth = 38, iconHeight = 95,
  iconAnchorX = 22, iconAnchorY = 94,
  shadowUrl = "http://leafletjs.com/examples/custom-icons/leaf-shadow.png",
  shadowWidth = 50, shadowHeight = 64,
  shadowAnchorX = 4, shadowAnchorY = 62
)

leaflet(data = quakes[1:4,]) %>% addTiles() %>%
  addMarkers(~long, ~lat, icon = greenLeafIcon)

Cluster Optionen für Marker

leaflet(quakes) %>% addTiles() %>% addMarkers(
  clusterOptions = markerClusterOptions()
)

Ein Rechteck hinzufügen

leaflet() %>% addTiles() %>%
  addRectangles(
    lng1=-118.456554, lat1=34.078039,
    lng2=-118.436383, lat2=34.062717,
    fillColor = "transparent"
  )

Links und Quellen

• 4 Tricks zum Arbeiten mit Leaflet

• http://www.r-bloggers.com/the-leaflet-package-for-online-mapping-in-r/

• https://rstudio.github.io/leaflet/

• Interaktive Tabellen mit DataTables

• R und die Javascript Data-Driven Documents (D3)

• Interaktive Graphiken mit D3 und plotly

• Netzwerkgraphiken mit vis.js

• Das Erstellen von Ablaufdiagrammen mit mermaid

Internetresourcen und Schnittstellen nutzen

• Import von JSON-Objekten und XML Dateien (pdf | rcode)

• Die Pakete rvest und RCurl

• Webscraping

• Use Case - Scraping Wikipedia

Applikationen und Projektverwaltung mit Rstudio und git

• Shiny Apps

• R und Git

Hochperfomanter Code

• C++ Integration - Überblick über das Paket rcpp

• Überblick über Möglichkeiten des Parallel Computings - Paket parallel

Integration von Datenbanken

• Datenbanken und R

• Integration von PostgreSQL mit dem Paket RPostgreSQL

• Nutzung von MongoDB in R